Connolly sinh ở 69 Dover Street[4] ("trên vải sơn lót sàn, ba tầng lên"[5] "hồi 6 giờ vào buổi tối")[4] tại Anderston, Glasgow, cha là William Connolly và mẹ là Mary "Mamie" (McLean) Connolly, một công nhân quán tự phục vụ bệnh viện. Ông của Connolly là người nhập cư Ai Len.[6][7][8] Năm 1946, khi cậu bé chỉ vừa bốn tuổi, mẹ của Connolly bị bỏ rơi con của bà khi cha ông còn trong quân đội. Connolly và em gái của mình, Florence, được chăm sóc bởi hai bà cô, Margaret và Mona Connolly, chị em của cha mình. Tiểu sử của ông, được viết bởi vợ Pamela Stephenson, ghi chép lại những năm bị lạm dụng tình dục bởi cha của mình, bắt đầu từ khi cậu lên 10 và kéo dài cho đến khi ông là khoảng mười lăm[9].